Уже в 1346 г. Ольгерд совершил крупный поход на новгородские владения: «Того же лета прииха князь Литовьскыи Олгердъ съ своею братьею съ князи и со всею Литовьскою землею, и ста в Шелоне, на усть Пшаги рекы, а позывая новгородцовъ: „хочю с вами видетися; лаялъ ми посадникъ вашь Остафеи Дворяниць, назвал мя псомъ“. И взя Шелону и Лугу на щитъ, а с Порховьского городка и съ Опоки взя окуп»141. Хотя сам Ольгерд назвал причиной своего похода оскорбление от новгородского посадника, его действия были определённо направлены против Семёна Ивановича Московского, который незадолго до этого посетил Новгород в качестве его князя: «Поиха владыка Василии на Москву къ князю и к митрополиту зватъ князя великаго в Новъгород, и тамо митрополит Фегнастъ благослови архиепископа новгородчкого Василья и дасть ему ризы хрестьцаты. Тои же зимы прииха князь Семеонъ в Новъгород на столъ, на Федорове недели, на Зборъ, седе на столе своем, правнукъ храбраго князя Александра; побывъ 3 недели в Новегороде, и поеха на Низъ о цесареве орудьи»142. Пребывание в Москве Евнутия, которого как претендента на литовский престол Семён Гордый мог в любой момент использовать для борьбы с Ольгердом, должно было сильно беспокоить великого князя Литвы. Однако события, которые разворачивались в это время в юго-западной Руси, вскоре заставили Ольгерда решительно изменить свою позицию в отношении Москвы.
В 1340 г. Болеслав-Юрий Тройденович за свою прозападную политику был отравлен галицко-волынскими боярами. После этого литовский князь Любарт захватил Волынь, а польский король Казимир III – Галицкую землю. Однако, как только Казимир со своим войском вернулся в Польшу, галицкая знать во главе с боярином Дмитрием Дядько и князем Даниилом Острожским обратилась за помощью к хану Узбеку, обвинив Казимира в невыплате Орде дани с захваченной им Галицкой земли. Узбек выделил сорокатысячное татарское войско, которое вместе с галицкими отрядами вторглось в Польшу. По просьбе польского короля римский папа Бенедикт XII призвал правителей Чехии, Венгрии и Германии к крестовому походу. Войска под началом Казимира III в июле 1340 г. заняли оборону на правом берегу Вислы. Татарско-галицкие отряды в течение месяца разоряли привисленский край, но после неудачной осады Люблина вынуждены были отступить. Тем не менее, польскому королю на время пришлось отказаться от своих претензий на Галицкое княжество. Там стал править Дмитрий Дядько в качестве вассала литовского князя Волыни Дмитрия-Любарта.
Однако вскоре борьба за галицко-волынские земли между Польшей и Литвой вспыхнула с новой силой. В 1343—1344 гг. Казимир III захватил Санок и Перемышль. Дмитрий Дядько в последний раз упоминается в качестве правителя Галицкой земли в документе 1344 г. Из письма, написанного в 1347 г. греческим императором Иоанном Кантакузином Дмитрию-Любарту Волынскому, ясно, что к тому времени Галич уже находился под контролем этого литовского князя. Смиряться с этим польский король не собирался. Ещё в 1343 г. он заключил мирный договор с Тевтонским орденом, который развязал крестоносцам руки для войны с Литвой. В 1348 г. они нанесли крупное поражение литовским войскам на реке Стреве.
Наученный предыдущим горьким опытом, Казимир III также принял меры для привлечения на свою сторону Орды. В 1349 г. он заключил военный союз против Литвы с ханом Джанибеком. Ценой союза стало признание Польшей верховной власти Орды над галицко-волынскими землями и обязательство продолжать выплату дани с них в ханскую казну. В своей булле от февраля 1357 г. папа Иннокентий VI упрекал Казимира III за то, что тот выплачивает татарскому хану ежегодную дань за земли, завоёванные у «русских схизматиков»: «Магистру и братьям [Тевтонского ордена] стало известно, что ты заключил договор и союз с врагами веры татарами…, обязавшись платить хану татар ежегодную дань за определённую часть земли русских схизматиков, которую ты завоевал ценой крови множества христиан…»143.
Заручившись поддержкой крестоносцев и татар, польский король перешёл в решительное наступление против Литвы. В 1349 г. ему удалось захватить почти всю Галицко-волынскую землю за исключением Луцка: «Прииде король краковьскыи со многою силою, и взяша лестью землю Волыньскую и много зло крестианомъ створиша, а церкви святыя претвориша на латыньское богумерзъское служение»144. Потерпев крупные поражения от крестоносцев и поляков, Ольгерд решил наладить отношения с Ордой. В 1349 г. он направил к хану Джанибеку посольство во главе со своим братом Кориатом с просьбой о военной помощи: «Того же лета помысли Олгердъ, князь Литовскии, послалъ въ орду къ царю Чанибеку брата своего Корольяда и просилъ рати у царя себе в помочь»145.
Русские летописные своды второй половины XV в. утверждают, что Ольгерд просил у хана войска «на князя великого на Семена», но это явный домысел их составителей. В тот момент основным врагом Литвы была Польша, и именно помощь против неё рассчитывал получить литовский великий князь, помня о союзнических отношениях между Литвой и Ордой, существовавших до 1331 г. Однако затруднительным положением противника решил воспользоваться Семён Иванович. Вслед посольству Ольгерда он направил в Орду своё собственное посольство, которое напомнило хану о недавнем разорении литовцами Новгородской земли, обязанной данью ордынцам. В ответ на это Джанибек выдал литовских послов представителям московского князя: «И то слышавъ князь великии Семенъ, погадавъ съ своею братьею, съ княземъ с Ываномъ и съ Андреемъ, и съ бояры, и посла въ орду Федора Глебовичя, да Аминя, да Федора Шюбачеева къ царю жаловатися на Олгерда. И слышавъ царь жалобу князя великаго, оже Олгердъ съ своею братьею царевъ улусъ, а князя великаго отчину испустошилъ, и выдалъ царь Корольяда, Михаила, и Семена Свислочьскаго, и Аикша киличеемъ князя великаго, и его дружину Литву; и далъ посла своего Тотуя, и велелъ выдати Корольяда и его дружину Литву князю великому Семену»146.
В подобной ситуации Ольгерду пришлось пойти на нормализацию отношений с Москвой. В следующем году он прислал к Семёну Ивановичу послов с дарами, прося отпустить Кориата и его спутников. Просьба была выполнена, и в том же году примирение между Москвой и Литвой было скреплено браками Ольгерда и Любарта с русскими княжнами, родственницами московского князя: «Олгердъ, князь Литовскыи, прислалъ послы своя къ князю великому Семену Ивановичю за своего брата за Корольяда и за бояръ, и за его дружину, за Литву съ многими дары, просяще мира и живота своеи братье, и много сребро отложилъ. Князь великии Семенъ приа любовь и миръ многъ вземъ, и отпусти Корьяда и его дружину Литву въ свояси. Того же лета прислалъ князь Любортъ изъ Велыня своихъ бояръ къ князю великому Семену бити челомъ о любви и испросити сестричну его за себе у князя Костянтина Ростовскаго, и князь великии приялъ въ любовь его челобитье, пожаловалъ и выдалъ свою сестричну въ Велынь. Того же лета князь Литовскыи Олгердъ прислалъ свои послы бити челомъ князю великому Семену, просити за себе свести княжи Семеновы, княжны Ульяны, княжи дщери Александровы Михаиловичя Тферского, и князь великии Семенъ Ивановичь, доложа Феогноста митрополита, и выдалъ свою свесть за Олгерда князя»147.
Мир с Москвой позволил Ольгерду перейти в контрнаступление на поляков. Уже в 1350 г. литовцы отвоевали всю Волынь и Берестейскую землю, но большая часть Галицкой земли осталась под властью Польши. В 1351 г. поляки совершили поход на Берестейщину, а в 1352 г. – на Белз и Владимир, но в обоих случаях успеха не добились. Решающую роль в этой борьбе сыграл переход татар со стороны Польши на сторону Литвы. По сообщению Яна Длугоша, в 1352 г. большая татарская орда, приглашённая Ольгердом, напала на «подчинённое Польскому королевству Подолье»148.
В том же году стороны заключили компромиссный мир, по которому Польша получила Галицкую землю и часть Подолья, а Литва – Волынь и Берестейщину: «Открытый переход Орды на сторону Ольгерда существенным образом изменил соотношение борющихся сил. Осознав бесперспективность продолжения борьбы при таком обороте дел, Казимир в 1352 г. пошел на компромисс с Ольгердом. В силу достигнутого соглашения Галицко-Волынская Русь была разделена между польским королем и литовским князем. Казимир получил земли Люблинскую и Галицкую, Ольгерд оказался обладателем Владимира, Луцка, Белза, Холма, Берестья. Нетрудно видеть, что в подготовке этого соглашения активную роль сыграла ордынская дипломатия, что условия компромисса были не только во многом подготовлены ордынской державой, но, возможно, и дипломатически санкционированы самим ханом Джанибеком в 1352 г.»149. Подтверждением данной точке зрения служит сам текст договора, который содержит, в частности, следующее условие: «Аже поидуть та [та] рове на ляхы, тогды руси неволя поити ис татары»150. Польша и Литва признают русское население волынских земель, перешедших под литовский контроль, военнообязанным перед татарами, то есть верховная власть над юго-западной Русью остаётся у Орды.